# Получить id шки всех товаров из магазина
from tqdm import tqdm
import grequests as greq


def save_list_to_file(filename: str, data: list):
    with open(filename, "w") as f:
        for item in data:
            f.write(str(item) + "\n")


urls = [f"https://www.riolis.ru/catalog/details_{i}.html" for i in range(1, 19999)] # Как позже оказалось все id меньше чем 4500.
params = [{
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36"}
    for _ in range(len(urls))]
rs = [greq.get(url, headers=headers) for url, headers in zip(urls, params)]

goods_ids = []
text = "OPERATION NOT ALLOWED"
for r in tqdm(greq.map(rs, size=32), total=len(urls)):
    if r.text.find(text) == -1:
        goods_ids.append(r.url)

print(len(goods_ids))
save_list_to_file("goods_ids.txt", goods_ids) # Ссылки на существующие товары из открытого досутпа
